Il falso problema della ricerca non
ripetibile
LORENZO L. BORGIA & LUDOVICA R.
POGGI
NOTE E NOTIZIE - Anno XVI – 02 marzo
2019.
Testi
pubblicati sul sito www.brainmindlife.org della Società Nazionale di
Neuroscienze “Brain, Mind & Life - Italia” (BM&L-Italia). Oltre a
notizie o commenti relativi a fatti ed eventi rilevanti per la Società, la
sezione “note e notizie” presenta settimanalmente lavori neuroscientifici
selezionati fra quelli pubblicati o in corso di pubblicazione sulle maggiori
riviste e il cui argomento è oggetto di studio dei soci componenti lo staff dei recensori della Commissione Scientifica della Società.
[Tipologia del testo: AGGIORNAMENTO]
Un numero rilevante di studi, svolti
con una correttezza metodologica formale tale da superare il vaglio di referees di alta qualificazione e
meritare la pubblicazione sulle maggiori riviste scientifiche, presenta
risultati che si rivelano non riproducibili, in parte o totalmente, con la
fedele ripetizione della procedura sperimentale seguita da parte di gruppi di
ricerca indipendenti. Tale questione, tornata di attualità sotto l’etichetta di
“problema della ricerca non riproducibile”, riguarda le neuroscienze particolarmente per due campi fra loro distanti
per metodo ed oggetto: la psicologia e la neuropsicofarmacologia.
Tutta l’impresa scientifica umana si basa sull’esecuzione
di esperimenti con rigore metodologico galileiano e sulla possibilità di
verifica dei risultati mediante la ripetizione delle prove sperimentali nelle
stesse condizioni. Questo nucleo procedurale si è dimostrato efficace anche
alla prova del pur criticabile sistema competitivo che vige nella massima parte
delle istituzioni scientifiche; infatti, gruppi di ricerca indipendenti hanno
sempre interesse a verificare sperimentalmente un risultato ottenuto da altri
che si annuncia come una scoperta: se non si riesce a riprodurre l’esito, si
funge da correttori, togliendo un merito ai concorrenti; se si ottiene lo
stesso risultato, si sarà giunti secondi e non ultimi nella “competizione” per
la scoperta. La ripetizione, come sa chiunque abbia fatto esperienza di
laboratorio di biochimica e di biologia molecolare, è la base stessa del
procedere quotidiano, anche in quelle indagini preliminari che portano a
decidere di scegliere o meno di seguire una nuova pista: quante volte la quasi
certezza teorica è smentita dai fatti della sperimentazione? E quante volte
l’incrollabile fiducia del ricercatore in un presupposto di conoscenza sostiene
centinaia di ripetizioni di un esperimento fino a quando non si ha l’esito
sperato?
Come lo stesso metodo scientifico, la
ripetizione, sia quale mezzo per giungere alla corretta realizzazione di un
esperimento, sia soprattutto quale strumento di verifica di risultati ottenuti,
non deve certo essere messa in discussione. Se oggi ci troviamo di fronte al dato
oggettivo di un numero molto alto di lavori sperimentali i cui risultati non
possono essere riprodotti, è necessario porsi il problema della concezione,
della struttura, della qualità e della finalità dei progetti che sottendono
tali lavori, per comprendere le ragioni di così tante bocciature[1].
Il problema principale, a nostro avviso, riguarda
la scelta dell’oggetto di ricerca, la definizione del progetto e l’assegnazione
dei finanziamenti. Riteniamo che molti degli studi dai risultati non
ripetibili, soprattutto in ambito psicologico, non meritavano di essere
eseguiti; un tale severo giudizio, che più avanti proveremo ad argomentare, può
più facilmente essere condiviso se si opera un’ideale comparazione col valore
di molti progetti sperimentali che rimangono sulla carta o sono sospesi e
abbandonati per mancanza di finanziamenti. Al novero degli studi non ripetibili
appartengono lavori che, nella maggior parte dei casi, con qualunque risultato,
non fornirebbero elementi di conoscenza concettualmente nuovi. Al contrario,
fra i numerosi progetti inevasi per mancanza di credito vi sono quelli volti
all’identificazione di processi e molecole chiave nella mediazione degli
effetti terapeutici di stati cerebrali e mentali.
Prendiamo le mosse dagli studi psicologici. In
questo caso, per caratteristiche intrinseche dell’oggetto, non si può certo
pretendere il rigore della ricerca biochimica; tuttavia, si deve notare che
negli studi interdisciplinari e nella sperimentazione basata sulla rigorosa
misura di parametri neurofunzionali, si riesce ad ottenere un grado accettabile
di definizione e misurazione degli oggetti di studio. Non si può dire la stessa
cosa della maggior parte delle osservazioni psicologiche comportamentali
condotte secondo i canoni classici di molte branche della psicologia accademica[2]. L’esempio
che segue ci sembra particolarmente significativo[3].
Katie Corker, psicologa presso la Grand Valley
State University, ha provato a riprodurre uno studio pubblicato nel 2008 su Science con grande risonanza mediatica;
i risultati del lavoro suggerivano che tenere tra le mani qualcosa di caldo,
come un boccale contenente caffè preparato all’americana, induce a comportarsi
in maniera più calorosa. Ma, quando la Corker ha provato a definire il
protocollo dell’esperimento, si è accorta che mancavano molti dati salienti,
fra cui la temperatura del caffè caldo e in quanto tempo la bevanda nervina si
raffreddasse tra le mani dei 94 volontari sottoposti alle prove.
Si può osservare che in questa branca di studi
psicologici si è andato affermando un criterio di osservazione comportamentale
in gran parte basato sulle convenzioni della descrizione fenomenica e non più
legato al rigore che ha caratterizzato, ad esempio, lo studio della
psicofisiologia della percezione fin dagli studi pionieristici condotti da
fisici, che portarono alla formulazione della legge di Weber-Fechner. Nel caso
dello studio verificato dalla Corker, si può riconoscere una responsabilità dei
referees di Science che avrebbero dovuto rispedire il testo agli autori,
richiedendo di specificare dati e parametri mancanti; tuttavia, sappiamo che
anche gli esperti appartenenti alla commissione della prestigiosa rivista
americana per questo tipo di ricerca psicologica sono culturalmente integrati
nella deriva recente, che accetta una forma di osservazione appartenente più
alla tradizione degli studi umanistici che alla psicologia sperimentale. Un
problema simile non si potrebbe verificare nella ricerca biomedica di base,
dove le cause di non riproducibilità sono ben diverse.
Ma la nostra critica a questi studi è più
radicale. A parte che l’effetto psicologico del tenere del caffè caldo tra le
mani può essere attribuito all’evocazione implicita di memorie episodiche e di
stati affettivi associati alla circostanza di prendere il caffè o qualsiasi
altra bevanda e non alla temperatura in sé e per sé, si dovrebbe poi
intraprendere una serie di esperimenti con gelati, ghiaccioli e recipienti
neutri a bassa temperatura per verificare un atteggiamento freddo e scostante
da parte dei volontari, e non sorprendersi che il gelato rende meno freddi di
un recipiente neutro tanto freddo da farti male alle dita; e nemmeno
sorprendersi che possa rendere freddi e mal disposti un recipiente di caffè
bollente che scotta le mani!
Dalla stessa radice teorica della concezione che
ha ispirato lo studio in cui la metafora del calore è intesa come analogia di
sostanza affettiva, provengono le tesi secondo cui gli aspetti qualitativi
della mente, con la psicologia che ne deriva, non siano altro che conseguenze
di pattern funzionali periferici e
viscerali, e pertanto, modificando tali schemi di stato, funzione e
atteggiamento, è possibile influenzare la psicologia del soggetto.
Qualche decennio fa si moltiplicavano gli studi
tendenti a dimostrare che l’assunzione di espressioni mimiche facciali simili
al sorriso influenzi positivamente l’affettività e il tono dell’umore. E così
si leggeva di studentesse che dovevano trattenere un cucchiaino tra il labbro
superiore e il naso, in tal modo forzando la rima labiale alla posizione del
sorriso, e si apprendeva dell’influenza positiva esercitata da questo gioco
sullo stato psichico nell’esecuzione di compiti sperimentali. È questo un
esempio emblematico di una categoria di studi che mette alla prova delle
influenze periferiche dovute all’associazione nei pattern di espressione del tono affettivo: quando siamo allegri,
contenti, soddisfatti e ben disposti sono pre-attivati gli schemi funzionali
neuromotori del sorriso, che sono sempre associati a quello stato mentale;
attivando gli schemi periferici del sorriso non meraviglia che sia facilitata
l’attivazione centrale dello stato psichico normalmente associato.
Tali effetti sono patrimonio della conoscenza psicologica
comune, e proprio nelle condizioni di saggio ricreate per gli esperimenti
trovano una condizione ideale per manifestarsi. Non era necessario, a nostro
avviso, allestire centinaia di esperimenti simili in tutto il mondo per
dimostrare che l’attivazione di una parte periferica di uno stato funzionale
complessivo possa evocare lo stato principale[4]. È
comprensibile e nota tale influenza, tanto quanto è nota, per comune esperienza,
la sua scarsa importanza nella realtà quotidiana, perché numerosi fattori – non
solo eventi di grande importanza emotiva – possono sopprimere, includere o
rendere irrilevanti queste influenze.
Una categoria concettuale, prossima a questa e da
sempre parte dalla psicologia spicciola, è rappresentata dall’influenza delle
caratteristiche dell’ambiente materiale sul comportamento umano: un effetto
psicologico che si conosce per semplice pratica di vita, ma che vanta un’antica
storia antropologica. Architetti e urbanisti sfruttano da sempre questo
effetto, che ha innumerevoli esempi tanto nel passato quanto nell’esperienza del
presente. Basti pensare alle richieste dei sovrani sulle dimensioni e le
caratteristiche degli elementi architettonici dell’ingresso dei palazzi reali,
per intimidire villani e stranieri, ed indurre timore e rispetto, favorendo
atteggiamenti di soggezione. Oppure, nel tempo presente, si pensi alle
influenze psicologiche e comportamentali indotte dall’aspetto e dalle
caratteristiche dei luoghi pubblici: salta agli occhi la differenza di
atteggiamento e condotte delle stesse persone quando transitano attraverso
ambienti mal ripartiti, trascurati o sudici, rispetto a quando entrano in
locali strutturati in forma razionale, caratterizzati da sale arredate con
raffinata eleganza, pavimenti a specchio ed allestimenti di pregio. Il modo
trasandato e caotico del primo caso, cede il posto ad un atteggiamento più
civile, ordinato e rispettoso nel secondo, come può confermare chi viaggia di
frequente. Si può scommettere su quanto emergerebbe da una verifica
sperimentale: una maggioranza del campione subisce l’influenza dell’ambiente e
solo una minoranza risulta non influenzata. È giustificabile l’investimento di
cifre considerevoli di danaro pubblico o di finanziamenti privati alle
università e ad altri istituti scientifici per determinare l’esatta proporzione
fra maggioranza e minoranza? In ogni caso, non si otterrebbe un progresso di
conoscenza, come quando si scopre che una particolare variante genica o una
data configurazione di connessioni cerebrali predispone ad un tratto
psicologico o psicopatologico, ma si produrrebbe un semplice dato statistico,
tra l’altro soggetto a variare con cambiamenti socioculturali e
politico-economici.
Si possono accostare questi progetti allo studio
delle basi di atteggiamenti psicologici in grado di attivare schemi funzionali
cerebrali e psico-neuro-immunitari che agiscono da difese anticancro e
antidegenerative?
Per quanto riguarda la
ricerca farmacologica finalizzata all’individuazione di nuovi psicofarmaci e
neurofarmaci, i problemi sono numerosi e da noi affrontati in questi anni
attraverso recensioni, aggiornamenti e commenti critici che si possono leggere
nei numerosi articoli dedicati all’argomento nella sezione “Note e Notizie” del
sito. Dai limiti delle teorie a fondamento della sperimentazione (es.: teoria
dopaminergica delle psicosi; teoria serotoninergica della depressione, ecc.)
alla forzatura consapevole di modelli animali inadeguati a rappresentare la
base neurale della psicopatologia umana; dall’impiego esclusivo di roditori maschi
nella sperimentazione animale, pur conoscendo le differenze nei due sessi,
all’estensione agli uomini di effetti psicofarmacologici provati con discreta
certezza solo nelle donne (SSRI nella depressione maggiore), gli errori da
correggere dei ricercatori sono numerosi; ma a questi si deve aggiungere un
problema più grande, costituito dalla “patologia della ricerca clinica”, ossia
da quell’insieme di pratiche scorrette o fraudolente messe in opera per conto
di case farmaceutiche (vedi il caso degli “autori fantasma”)[5] o da parte di ricercatori e volontari corrotti. Di questo argomento ci
occupiamo da anni: qui di seguito si riporta un brano tratto da un nostro
articolo di qualche anno fa, purtroppo ancora attuale:
«Una prima stortura del sistema è
rappresentata dall’esistenza di persone che fanno i “volontari professionisti”,
cioè passano da uno studio sperimentale all’altro per poter percepire il
compenso, anche se non in possesso dei requisiti che soddisfino pienamente i
criteri previsti dal disegno sperimentale.
Come è possibile una cosa simile? È
possibile grazie alla seconda e più grave stortura del sistema, consistente in
una forte pressione esercitata dalle case farmaceutiche attraverso ingenti
incentivi economici per i ricercatori che reclutano persone secondo il criterio
del maggior numero possibile, nel minor tempo possibile. In tal modo, si
crea una complicità a danno della regolarità dello studio: il paziente, o finto
tale, ha interesse ad accentuare o inventare di sana pianta dei sintomi per entrare
nel campione, ed il ricercatore ha interesse ad includerlo per riscuotere la
ricompensa in denaro che va dai 10.000 ai 30.000 dollari per persona reclutata.
E’ perfino superfluo sottolineare come in psichiatria una simile frode sia
molto più facile che in qualsiasi altro settore della ricerca clinica: le commissioni di controllo, per
considerare dislipidemico un volontario di uno studio sul metabolismo, si
basano sui tassi ematici di colesterolo e trigliceridi rilevati e riscontrati
mediante esami emoatochimici condotti da laboratori indipendenti; se si deve
giudicare l’idoneità a partecipare ad una sperimentazione clinica di farmaci
antipsicotici di un paziente che dice di sentire delle voci, ci si deve basare
sulla sua parola.
I campioni sperimentali
“annacquati” dalla presenza di falsi pazienti o di “pazienti sbagliati”, cioè
affetti da un disturbo più lieve o del tutto diverso da quello per il quale la
molecola era stata concepita nelle fasi precedenti della sperimentazione,
ovviamente daranno risultati meno affidabili, che possono apparire
immediatamente poco convincenti, se contraddicono le attese, o risultare
straordinariamente soddisfacenti, quando l’aggiunta dei falsi pazienti ha
migliorato la presunta performance
del farmaco. Nel primo caso, i risultati impongono un’ulteriore verifica
sperimentale; nel secondo, per accorgersi della inattendibilità dell’esito,
sarà necessario un tempo maggiore; bisognerà, infatti, attendere uno studio
condotto con rigore da un gruppo indipendente di ricercatori eticamente
integri.
Tutto ciò si traduce in una perdita
di tempo e di denaro straordinaria. Attualmente, il costo che porta una
molecola dalle fasi dei saggi preliminari al brevetto e poi al mercato, è
stimato 1.8 miliardi di dollari, ma questa cifra, già astronomica, è destinata
a salire per colpa di queste frodi.
Ma perché questi problemi sono
quantitativamente rilevanti e, quindi, siamo costretti ad occuparcene?
La risposta è in un trend difficile da arrestare,
soprattutto in un periodo di crisi economica.
Secondo il Tuft Center for the
Study of Drug Development, nel 1994 il 70% dei ricercatori che studiavano
molecole a scopo terapeutico apparteneva a centri medici universitari o ad
associazioni scientifiche di alto prestigio accademico e finanziate con denaro
pubblico. Oggi, la proporzione è pressoché invertita: solo il 36% dei
ricercatori ha questo profilo e non è direttamente o indirettamente al soldo di
case farmaceutiche. Ma nemmeno questa quota può considerarsi del tutto scevra
da sospetto: il 36% dei finanziamenti (grants)
che aiutano a condurre o completare degli studi svolti in istituzioni
accademiche, proviene dalle aziende.
In anni recenti il governo degli
Stati Uniti ha varato vari regolamenti, impostati secondo il contrasto al
conflitto di interessi, e volti al fine di combattere l’influenza delle case
produttrici di farmaci sulla ricerca medica, ma molto si deve ancora fare per
evitare quanto accade nel settore degli psicofarmaci.
Consideriamo uno scenario tipico di
trial clinico per un ipotetico nuovo
psicofarmaco: un’azienda farmaceutica vuole testare l’efficacia di un composto
che ha mostrato, ad esempio, la capacità di ridurre il comportamento depressivo
nei topi. Ricordiamo che in questa fase lo studio farmacodinamico e
farmacocinetico è stato già compiuto. Primo, è necessario, avendo già proceduto
ai saggi di tossicità ed efficacia di base, attuare piccole prove di controllo
che confermino l’innocuità della molecola. Secondo, si dovrà somministrare la
nuova sostanza ad un grande numero - il più grande possibile, per aumentare la
significatività - di pazienti depressi allo scopo di verificarne la reale
efficacia.
A questo punto si segue una
procedura standard, in modo sempre assolutamente corretto, anche perché
derogare vorrebbe dire perdere la credibilità scientifica e il posto di lavoro:
i pazienti sono distribuiti casualmente (randomization)
in due gruppi, quello che riceverà il nuovo farmaco e quello che riceverà la
“pillola di comparazione”, cioè la molecola maggiormente impiegata come standard
terapeutico o un placebo, ossia un “finto farmaco” costituito da una compressa
di materiale inerte come il talco, oppure a base di zucchero. La
somministrazione avviene in doppio cieco, in altre parole chi somministra non
sa se sta dando il nuovo farmaco o la pillola di comparazione e, allo stesso
modo, i volontari non sanno cosa stiano ricevendo. Per l’attuazione di questa
procedura, si impiegano dei kit
predisposti che consentono la siglatura separata e l’abbinamento segreto dei
contenitori e si procede per passi controllati, così che solo alla fine
dell’esperimento i ricercatori conosceranno le chiavi dell’abbinamento e
potranno procedere all’elaborazione dei dati ottenuti. È evidente che un numero
elevato di volontari che si fa passare per depresso, essendo magari solo un po’
triste, stanco, insonne o sfiduciato, accrescerà non solo il numero di persone
che avranno apparentemente tratto beneficio dal nuovo farmaco, ma anche di
quelli che avranno apparentemente tratto beneficio dal placebo.
Nella sperimentazione
psicofarmacologica la percentuale di fallimento dei trials clinici è elevatissima. La metà degli antidepressivi posti
al vaglio risulta inaccettabile per uso terapeutico, e il motivo principale è
che nella maggior parte dei casi non risultano più efficaci di una pillola di
zucchero. Non è ragionevole pensare che, nonostante i progressi della
farmacologia di base, giungano alla sperimentazione umana molecole molto meno
efficaci di quelle che vi giungevano tanti anni fa. La spiegazione non può che
essere nei volontari “finti pazienti” che inconsapevolmente elevano il grado di
apparente efficacia del placebo. Proprio gli alti livelli di risposta al
placebo in questi studi, hanno fatto insospettire medici e farmacologi ignari
del problema, così come tanti ricercatori impegnati nella sperimentazione
neuroscientifica non farmacologica. La risposta positiva al placebo, innescata
da suggestione o da altri processi imponderabili, si ritiene sia dovuta alla
naturale e spontanea azione curatrice del cervello, e costituisce per questo lo
zero ideale dal quale deve partire una stima di efficacia farmacoterapica. Se
metà dei volontari, che si suppone siano affetti da una forma di depressione
che richiede trattamento farmacologico, migliora senza farmaco e senza alcuna
forma di psicoterapia o di sostegno affettivo-relazionale, allora una quota
molto più alta del 50%, che corrisponde allo zero virtuale, dovrà mostrare un
sensibile miglioramento. Infatti, se il farmaco risultasse efficace nel 60% dei
casi, vorrebbe dire che solo il 10% dei volontari ha ricevuto un giovamento
superiore a quello che si avrebbe senza farmaci. Se, per ipotesi, in queste
condizioni una nuova molecola antidepressiva risultasse efficace nel 98% dei
volontari che l’assumono (cosa che nella realtà non si verifica mai) al netto
dell’effetto placebo, che
naturalmente si verifica anche con le sostanze farmacologicamente attive, la
sua reale efficacia dovuta allo specifico meccanismo molecolare eccederebbe del
48% la risposta aspecifica al placebo, rimanendo paradossalmente del 2%
inferiore.
Anche se i numeri che ho proposto a
scopo esemplificativo - per rendere immediatamente evidente il modo in cui i
falsi pazienti possano compromettere i risultati - non sono esattamente quelli
delle sessioni sperimentali, riflettono la sostanza concettuale di un problema
che è stato affrontato da vari gruppi di ricerca. Una mole crescente di lavori
ha direttamente implicato il fenomeno della “selezione inappropriata dei
soggetti” quale causa dell’innalzamento dei livelli di risposta al placebo. In
questi studi si compara la valutazione condotta da ricercatori privi di
interessi materiali diversi dagli scopi scientifici e clinici, con quella di
loro colleghi che hanno ricevuto incentivi per compiere il lavoro»[6].
La scoperta di queste pratiche
illegali, deontologicamente inammissibili e pericolose per la salute dei
cittadini, oltre che dannose per la reputazione della scienza, si è avuta anche
grazie a studi condotti con il massimo rigore scientifico e morale, col solo
fine della conoscenza a beneficio dei pazienti. Tali studi spesso sono stati
realizzati su campioni meno numerosi, ma utili nel proporre risultati
affidabili – per quote fisiologicamente basse di effetto placebo – e spesso in
contrasto con gli esiti di grandi trial
incentivati dalle case farmaceutiche.
Concludendo, a nostro avviso è più
corretto parlare di “problemi creati dalla cattiva ricerca” che di “problema
della ricerca non ripetibile”.
Gli autori della nota ringraziano
la dottoressa Isabella Floriani per la correzione della bozza e invitano alla lettura delle recensioni
di argomento connesso che appaiono nella sezione “NOTE E NOTIZIE” del sito
(utilizzare il motore interno nella pagina “CERCA”).
Lorenzo L. Borgia & Ludovica R.
Poggi
BM&L-02 marzo 2019
_____________________________________________________________________________________________________________________
La Società Nazionale di Neuroscienze
BM&L-Italia, affiliata alla International Society of Neuroscience, è
registrata presso l’Agenzia delle Entrate di Firenze, Ufficio Firenze 1, in
data 16 gennaio 2003 con codice fiscale 94098840484, come organizzazione
scientifica e culturale non-profit.
[1] In altre parole, non si deve prendere a pretesto questo fatto per dare adito e forza alle anacronistiche istanze antiscientifiche di movimenti che, su base preconcetta, tendono a discreditare il metodo sperimentale. Per tale ragione, non è giustificabile mettere insieme studi di branche diverse non riproducibili per ragioni differenti, creando il “caso della ricerca non riproducibile”. Il rischio della prospettiva assunta dalla giornalista freelance Shannon Palus su Scientific American (“Make Research Reproducible”, v. dopo) è proprio la messa in discussione dell’impresa scientifica nel suo complesso: le ragioni dell’impossibilità di riprodurre gli esperimenti sono in una cattiva pratica, non nell’inaffidabilità del metodo.
[2] Si ricorda che la neuropsicologia, nata in seno alla neurologia dell’Ottocento che aveva individuato lesioni alla base di afasie, amnesie, agnosie e aprassie, è stata considerata a lungo l’unica branca psicologica degna di credito scientifico da parte della comunità medica. Le stesse scienze cognitive si sono sviluppate sulla base dell’evoluzione delle tecniche e delle metodologie adottate dai medici neuropsicologi del Novecento. Si pensi agli studi sui pazienti con cervello diviso e all’introduzione nei curricula medico-specialistici della cognitive science nata dall’Hixon Symposium del 1948.
[3] È stato recentemente citato da Shannon Palus in Make Research Reproducible, Scientific American 319 (4): 48-51, October 2018.
[4] È perfino superfluo ricordare che tali influenze sono sfruttate da metodi impiegati in varie tecniche psicoterapeutiche.
[5] Note e Notizie 07-04-07 La frode delle case farmaceutiche mediante autori-fantasma.
[6] Note e Notizie 24-11-12 Patologia della ricerca di nuovi farmaci in psichiatria – prima parte. Se si vuole leggere l’interessante seguito: Note e Notizie 01-12-12 Patologia della ricerca di nuovi farmaci in psichiatria – seconda parte.